ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?
持续技能基准：评估LLM智能体能否真正进化其能力
🧭 Agent连续技能学习评估 ★ 深度解读
Institute for Artificial Intelligence, Peking University · Beijing Institute for General Artificial Intelligence
构建动态评估框架，揭示顺序执行提升性能但技能库维护未显著超越纯上下文学习，技能泛化仍难
📌 工作参考价值（4 点）
- 纯上下文学习可替代复杂技能库：在电商Agent的工作流中，对于简单的顺序任务（如用户意图识别→商品推荐→生成文案），直接利用对话历史和反馈的上下文学习表现与维护显式技能库相当，可以简化系统设计，避免技能库膨胀。
- 警惕技能碎片化：弱模型容易生成大量任务特定技能且复用率低，导致检索负担加重。可以设计技能合并策略（如定期聚类相似技能并泛化）或设置技能池容量限制，通过淘汰低频技能来维持效率。
- 任务流设计需注入技能依赖结构：通过构建任务依赖图并按拓扑排序安排任务顺序（难度递进 + 技能复用），能显著提高技能覆盖率和转移机会，这在推荐系统的多阶段流程（召回→粗排→精排→策略）中可借鉴，使上游产出的特征或知识能被下游利用。
- 评估指标可移植：任务重用率和核心技能覆盖率可作为量化连续学习环境质量的指标，用于检测推荐序列中是否存在有效的知识迁移路径。